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INTERNATIONAL PRELIMINARY EXAMINATION REPORT 



Femational application No. 

PCT/FROO/01659 



I. Basis of the report 



1. With regard to the elements of the international application:* 
I I the international application as originally filed 
the description: 

pages 

pages 

pages 



1-25 



, as originally filed 
, filed with the demand 



, filed with the letter of 



the claims: 

pages 

pages 

pages 

pages 



2 (part),3-6 



, as originally filed 

, as amended (together with any statement under Article 1 9 

, filed with the demand 



1,2 (part) 



^, filed with the letter of 



13 July 2001 (13.07.2001) 



the drawings: 

pages 

pages 

pages 



1/4-4/4 



, as originally filed 
, filed with the demand 



, filed with the letter of 



I I the sequence listing part of the description: 

pages 
pages 

pages 



, as originally filed 

, filed with the demand 



, filed with the letter of 



3. 



With regard to the language, all the elements marked above were available or furnished to this Authority in the language in which 
the international application was filed, unless otherwise indicated under this item. 

These elements were available or furnished to this Authority in the following language . which is: 

I I the language of a translation furnished for the purposes of international search (under Rule 23.1(b)). 
I I the language of publication of the international application (under Rule 48.3(b)). 

I I the language of the translation ftimished for the purposes of international preliminary examination (under Rule 55.2 and/ 
or 55.3). 

With regard to any nucleotide and/or amino acid sequence disclosed in the international application, the international 

preliminary examination was carried out on the basis of the sequence listing: 

I I contained in the international application in written form. 
I I filed together with the international application in computer readable form- 
furnished subsequently to this Authority in written form, 
furnished subsequently to this Authority in computer readable form. 

The statement that the subsequently furnished written sequence listing does not go beyond the disclosure in the 
international application as filed has been furnished. 

The statement that the information recorded in computer readable form is identical to the written sequence listing has 
been furnished. 



□ 
□ 
□ 

□ 



4, 



The amendments have resulted in the C£mcellation of: 

I I the description, pages 

1^ the claims, Nos. 1 .2 (part) 

I I the drawings, sheets/fig 



I I This report has been established as if (some of) the amendments had not been made, since they have been considered to go 
^" ' — ' beyond the disclosure as filed, as indicated in the Supplemental Box (Rule 70.2(c)).** 

* Replacement sheets which have been furnishea to the receiving Office in response to an invitation under Article 14 are referred to 
in this report as "originally filed" and are not annexed to this report since they do not contain amendments (Rule 70. J 6 
and 70.17). 

** Any replacement sheet containing such amendments must be referred to under item I and annexed to this report. 
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V. Reasoned statement under Article 35(2) with regard to novelty, inventive step or industrial applicability; 
citations and explanations supporting such statement 



1 . Statement 

Novelty (N) 

Inventive step (IS) 
Industrial applicability (lA) 



Claims 
Claims 

Claims 
Claims 

Claims 
Claims 



1-6 



1-6 



1-6 



YES 
NO 
YES 
NO 

YES 
NO 



Citations and explanations 

The closest prior art is the following document 



Dl: QUINCY E A ET AL : 'Expert pattern recognition 

method for technology-independent classification 
of video transmission quality' GLOBECOM '88. 
IEEE GLOBAL TELECOMMUNICATIONS CONFERENCE AND 
EXHIBITION- COMMUNICATIONS FOR THE INFORMATION 
AGE. CONFERENCE RECORD (IEEE CAT. NO. 88CH2535- 
3), HOLLYWOOD, FL, USA, 28 NOV. - 1 DEC. 1988, 
PAGES 1304-1308 Vol. 3, XP002133255 1988, New 
York, NY, USA, IEEE, USA. 



This document discloses a method for evaluating the 
quality of an audio-visual sequence. 



The method measures a parameter vector for a given 
sequence and attempts to attribute a value to said 
vector that would correspond to a subjective quality 
evaluation. 



In the method disclosed in Dl, the quality is 
determined by expert systems by considering a 
plurality of factors (see, for example. Figure 1) 
and by using, inter alia, a dynamic data base. 
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In the claimed method, the quality is not determined 
by expert systems, but rather by using a fixed data 
base and by determining the overall training closest 
to the measured vector. 

The subject matter of Claim 1 therefore involves an 
inventive step. 

Claims 2-6 are dependent on Claim 1 and therefore 
also meet, as such, the PCT requirements of novelty 
and inventive step. 

The claimed subject matter relates to electronic 
devices that are manufactured industrially and are 
therefore industrially applicable. 
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VII. Certain defects in the international application 

The following defects in the form or contents of the international application have been noted: 

Contrary to the requirements of PCT Rule 5.1(a) (ii), the 
relevant prior art disclosed in document Dl has not been 
indicated in the description, nor has this document been 
cited. 
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(43) Date de la publication Internationale 
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(10) Num^ro de publication Internationale 
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(51) Classification Internationale des brevets^: H04N 17/00 

(21) Num^ro de la demande Internationale: 

PCT/FROO/01659 



Jamal [FR/FR]; 16, rue du Docteur Bemheim, F-54000 
Nancy (PR). BRETILLON, Pierre [FRyPR]; 6, rue de la 

Glaciere, F-57000 Metz (FR). 
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(30) Donnees relatives a la prior ite: SE). 
99/08008 23 juin 1999 (23.06. 1999) FR 
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(72) Inventeurs; et 
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En ce qui concerne les codes a detLx lettres et autres abrevia- 
tions, se referer aux "Notes explicatives relatives aux codes et 
abreviations" figurant au debut de chague mwtero ordinaire de 
la Gazette du PCT. 



(54) Title: METHOD FOR EVALUATING THE QUALITY OF AUDIO- VISUAL SEQUENCES 
(54) Tttrc: PROCEDE D'EVALUATION DE LA QUALITE DE SEQUENCES AUDIOVISUELLES 



^ Sref 



Sl(t) 
TI(t) 




COMP 

1 


M2(t) 


SMOO 
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MIN 

3 






Sl(t) 
TI(t) 


M3ft2 





note 



1... COMPARATOR 

Z..SUMMING MODULE 

3... MINIMIZATION OF DISTORSION 
^ 4. . . OBJECTIVE RATING 

^ 5... SUBJECTIVE RATINGS 

IT) 

(57) Abstract: The invention concerns a method for evaluating the quality of audio-visual sequences by: a training comprising the 
^ attribution of a subjective rating to each of No training sequences exhibiting degradations identified by a training vector assigned to 
O each sequence according to a first vectoring process, to constitute a database consisting of No training vectors MOj and subjective 
^ ratings NSi; classifying the training vectors into k classes of ratings based on the subjective ratings NSj which have been attributed, to 
O form k training sets whereto are attributed k significant ratings; establishing for said audio- visual sequence to be evaluated a vector 
Q according to said first vectoring process; attributing to the audio-visual sequence the significant training rating NSRj, corresponding 

to the closest training set Ea^. 



[Suite sur la page suivantej 
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(57) Abrege: L'invention conceme un pioc^ d'^valuation de la qualite d'une sequence audiovisuelie, par un apprentissage com- 
prenant 1' attribution d'une note subjective h chacune de No sequences d' apprentissage prdsentant des d^graxlations identifi^ par 
un vecteur d* apprentissage qui est affect^ a chaque sequence selon un premier proc^ de vectorisation, pour constituer une base 
de donn^es composee des No vecteurs d'^prentissage MOj et des notes subjectives NS.; le classement des vecteurs d' apprentissage 
MOi en k classes de notes en fonction des notes subjectives NSj qui leur ont ete attribuees, pour former k ensembles d' apprentissage 
auxquels sont attribu^s k notes d' apprentissage signdficatives pour ladite sequence audiovisuelie h evaluer Telaboration d*un vecteur 
selon ledit premier proced^ de vectorisation; attribution h la sequence audiovisuelie k evaluer de la note d' apprentissage sigmficative 
NSRj, correspondant a I'ensemble d* apprentissage EAJ le plus proche. 
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PROCEDE D ' EVALUATION DE lA QUALITE DE SEQUatefiS 

AUD lOVI SUELLES 

La presente invention a pour objet un procede 
d' evaluation de la qualite d'une sequence audiovisuelle, 
5 une telle sequence etant definie, sous sa forme la plus 
generale, comme comprenant des signaux audio et/ou video. 

La numerisation des signaux audio et video a 
ouvert la possibilite de pouvoir copier, stocker ou 
transmettre ce type d ' information en maintenant une 

10 qualite constante. Cependant la grande quantite 
d ' information vehiculee par les signaux audiovisuels 
necessite en pratique 1 ' utilisation de methodes de 
compression numerique pour ireduire le debit binaire. 

La norme MPEG2 decrit un certain type de 

15 techniques applicables pour la reduction de debit. Ces 
algorithmes sont dits "avec pertes", car les signaux 
restitues apres le decodage ne sont plus identiques aux 
originaux. Afin de maintenir une qualite acceptable pour 
le telespectateur final, les algorithmes de reduction de 

20 debit tiennent compte des proprietes perceptuelles de 
I'oeil et de I'oreille humaines . En depit de ceci, les 
contraintes imposees, de debit ou de largeur de bande 
disponible pour la transmission, ainsi que le contenu des 
signaux impliquent 1' apparition de degradations 

25 caracteristiques sur le signal apres decodage, Ces 
degradations introduites par la chalne globale MPEG2 - 
codage et transmission - influent directement sur la 
qualite finale pergue . 

L' evaluation automatique de la qualite des 

30 signaux audiovisuels a un large champ d ' applications dans 
la chaine de television numerique : production, 
distribution, et evaluation des performances des 
systemes . 

Les dispositifs existants ont par contre ete 
35 elabores pour des tests en laboratoires et ne sont pas 
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adaptes pour la telesurveil lance des reseaux de 
distribution. 

La qualification des degradations affectant la 
qualite de 1 * image et de 1 ' audio lors de 1 ' application 

5 d'un codage a reduction de debit ou d'une transmission, 
est possible de deux manieres differentes. D'une part, 
les tests subject if s conduits dans des conditions 
precises, fournissent des resultats reproductibles . 
Cependant, ils sont longs et couteux a realiser. D* autre 

10 part, . les systemes automat iques d* evaluation de la 
qualite par des mesures objectives permettent, par 
exemple, de faciliter la mise au point et la comparaison 
d ' algorithmes de codage. lis off rent la possibilite de 
tester de maniere ponctuelle ou en continu des systemes 

15 numeriques . Pour obtenir des mesures objectives 
signif icativement correles aux valeurs subjectives, les 
proprietes du systeme visuel humain doivent etre prises 
en compte. 

La notion de qualite est essentiellement 

20 relative. En effet, meme le telespectateur place dans des 
conditions habituelles d ' observation (chez lui) juge de 
la qualite des signaux qui lui sont presentes par rapport 
a une reference. Celle-ci est dans ce cas constitute de 
ses attentes ou de ses habitudes. De meme, une methode 

25 d' evaluation de qualite objective effectue une analyse 
des degradations introduites par le systeme sur les 
signaux en tenant compte des signaux de reference 
presents en entree du systdme. L* etude des metriques 
objectives passe done, d'une part, par 1 ' analyse des 

30 defauts introduits dans les signaux, et d' autre part par 
celle du systeme perceptuel humain et de ses proprietes. 
Les differentes approches sont fondees soit sur le calcul 
du signal erreur, soit sur 1 ' identification de signatures 
particulieres des artefacts introduits par le systeme 

35 audi ovi sue 1 . L ' application de modeles perceptuels permet 
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d'evaluer 1 ' importance des degradations pour le systeme 
perceptuel humain SPH. 

Les essais subjectifs sont le resultat de la 
soumission des signaux audiovisuels k un ensemble 
d ' observateurs representatif s de la population. II s'agit 
de realiser dans des conditions de visualisation et 
d'ecoute controlees, un . ensemble de sondages de 
satisfaction. En effet, les signaux sont presentes aux 
observateurs selon un protocole predefini, de maniere k 
les faire reagir sur la qualite finale. La gradation de 
la qualite suivant une echelle predefinie est effectuee. 
Des notes d' evaluation de la qualite sont obtenues a la 
suite de la presentation de sequences audio, video ou de 
sequences audio et video simultanement . Des calculs 
statis-tiques permettent d'af finer ces notes individuelles 
en les filtrant et en les homogeneisant . Plusieurs 
methodologies d' essais subjectifs sont normalisees 
notamment dans la recommandation ITU-R Bt.500 intitulee 
"Method for the subjective assessment of the quality of 
television pictures". Deux d'entre elles utilisant une 
echelle de notation continue sont : 

■ DSCQS : protocole dit "Double Stimulus 
Continuous Quality Scale" . 

■ SSCQE : protocole dit "Single Stimulus 
Continuous Quality Evaluation" . 

La premiere methode permet d'obtenir une note 
pour une sequence video de 10 secondes . II faut presenter 
success ivement les deux sequences A et A' , respect ivement 
originale et degradee (cf . figure 1) . 

La seconde methode s'affranchit des signaux de 
reference pour evaluer de maniere intrinseque une 
sequence donnee . La figure 2 presente une courbe de 
notations subject ives realisee sur une secpaence longue de 
3 0 minutes. L'axe des abscisses represente 1 • axe du 
temps. Un echantillon de la notation subjective est 
releve tous les N secondes. L*axe des ordonnees 
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represente I'echelle de gradation de la qualite. La 
courbe montre 1 ' impact sur la qualite subjective de 
toutes les perturbations subies par la sequence. 

Les mesures objectives peuvent etre realisees 

5 selon diverses approches . 

Le principe de 1 ' approche qui utilise les 
modeles perceptuels est de simuler le comportement du 
systeme perceptuel humain (SPH) partiellement ou 
completement . Sachant qu*il s*agit dans ce contexte de 

10 determiner la qualite des signaux audiovisuels, il suffit 
pour cela d'evaluer la perceptibilite des erreurs . En 
effet, la modelisation de certaines fonctions du SPH 
permet de quantifier 1 ' impact des erreurs sur les organes 
sensitifs de I'homme. Ces modeles agissent comme des 

15 fonctions de ponderation appliquees aux signaux 
d* erreurs. De cette maniere, I'effet de chaque 
degradation est module proport ionnellement . Le processus 
global permet d'evaluer obj ectivement la qualite des 
signaux transitant a travers un systeme audiovisuel (voir 

20 figure 3) . 

Des signaux de reference S^e* representant par 
exemple une sequence audiovisuelle , et des signaux de 
cette sequence, degrades par un systeme audiovisuel SA, 
sont compares dans un module MID d ' identification des 

25 defauts, puis une note NT leur est attribute par 
comparaison a un modele MOD. 

Dans I'optique du calcul du signal d'erreur, 
le rapport signal sur bruit peut etre consid^re comme un 
facteur de qualite. Mais on observe en pratique qu'il est 

30 peu representatif de la qualite subjective. En effet, ce 
parametre est tres globalisant, et n'est done pas a meme 
de saisir les degradations locales, typiques des systemes 
numeriques. De plus, le rapport signal sur bruit permet 
d'evaluer une fidelite tres stricte des signaux degrades 

35 par rapport aux originaux, ce qui est different d'une 
qualite perceptuelle globale. 
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L'obtention d'une meilleure evaluation de 
qualite passe par 1 • utilisation des nombreuses donnees 
experimentales sur le systeme perceptuel humain. Leur 
application est grandement facilitee, car celui-ci a ete 
etudie pour sa sensibilite a un stimulus (ici 1 • erreur) 
dans le contexte de 1 • image par exemple . Dans ce cadre, 
on s'interesse a la reponse du systeme visuel (SVH) a un 
contraste, et non plus a une grandeur absolue telle que 
la luminance. 

Diverses images de test, telles que des plages 
uni formes de luminances, ou des frequences spatiales ou 
temporelles, ont permis de determiner experimentalement 
la sensibilite du systeme visuel et les valeurs des 
contrastes juste perceptibles associes. Le SVH a une 
reponse d* allure logarithmique a 1 ' intensite de la 
lumiere, et une sensibilite optimale aux frequences 
spatiales vers 5 cycles/degre . L • application de ces 
resultats doit toutefois se faire avec prudence, car ce 
sont des valeurs de seuil de visibilite. Ceci explique la 
difficulte de predire 1 ' importance de degradations de 
forte amplitude. 

Les modeles auditifs precedent d'une manidre 
similaire. Experimentalement, la sensibilite aux 
differents stimulus est mesuree. Elle est appliquee par 
la suite aux differents signaux d'erreurs pour evaluer la 
qualite , 

Cependant , les signaux audiovisuels sont 
complexes en termes de richesse de 1 ' information . D' autre 
part, de maniere pratique, 1 ' utilisation de ce type de 
modeles pour les signaux audiovisuels souleve plusieurs 
problemes. Outre le fait que les signaux de reference et 
degrades doivent se trouver physiquement au meme endroit, 
une mise en correspondance spatiale et temporelle exacte 
des sequences est indispensable. Cette approche peut done 
trouver des applications dans 1 'evaluation d' equipements 
localises dans le meme laboratoire, tel qu'un codeur, ou 
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dans certains cas de transmission tel que le satellite, 
pour lequel I'emetteur et le recepteur peuvent etre dans 
le meme local . 

L'approche qui utilise les modeles 
parametriques realise une combinaison d ' une serie de 
parametres ou d ' indicateurs de degradation retenus pour 
elaborer la note objective globale. 

Les mesures objectives appliquees aux signaux 
audio et/ou video sont des indicateurs du contenu des 
signaux et des degradations qu'ils ont subies . En effet, 
la pertinence de ces parametres depend de leur 
representativite en terme de sensibilite au^ defauts. 

Deux categories d'approches sont alors 
possibles dans le cas de 1 ' elaboration des parametres : 

1 . categorie I "Avec connaissance a priori du 
signal de reference" ; 

2. categorie II "Sans connaissance a priori 
du signal de reference" . 

La premiere categorie I d'approche repose sur 
la realisation de la meme transformation ou du meme 
calcul de parametres sur le signal de reference et le 
signal degrade. L ' elaboration d * une note de qualite 
globale reside dans la comparaison des resultats issus 
des deux traitements. L'ecart mesure traduit les 
degradations subies par le signal. 

La deuxieme categorie II d'approche ne 
necessite pas de connaissance sur le signal original, 
mais seulement de connaitre les caracteristiques 
specif iques des degradations. II est alors possible de 
calculer un indicateur par type de degradation ou plus- 
En effet/ le codage a bas debit et la diffusion perturbee 
des signaux de television numerique generent des defauts 
caracteristiques ident if iables : effet de blocs, gel 
d' images etc. Des facteurs detectant ces defauts peuvent 
etre elabores et utilises comme indicateurs de la 
qualite . 
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Exemple de module parametrique : 

De nombreux parametres ont ete proposes dans 

la litterature pour mettre en oeuvre les modeles 

parametriques . L'objet de la presente invention n'est 
5 d'ailleurs pas de definir de nouveaux parametres, mais de 

proposer un modele general pour 1 ' exploitation de ces 

mesures - 

L'approche consiste a comparer les deux images 
(image de reference et image degradee) seulement sur la 

10 base de parametres caracteristiques de leur contenu. Le 
choix de ces parametres est lie a leur sensibilite a 
certaines degradations que le systeme a evaluer 
introduit. Par la suite, une mesure de qualite est 
construite par correlation en utilisant une serie de 

15 mesures subjectives. 

Comma exemple, nous citons une technique 
developpee par 1 » ITS (Institute of Telecommunication 
Sciences, USA). Elle repose sur 1' extraction d ' un 
parametre spatial SI et d'un parametre temporel TI, 

20 caracteristiques du contenu des sequences (voir figure 
4). Pour plus d* informations , on se reportera a 1' Article 
de A. A. WEBSTER et collaborateurs intitule "An objective 
video quality assessment system based on humain 
peception" paru dans SPIE - volume 1913, pages 15-26, 

25 juin 1993 . 

L ' information spatiale consid§ree comme 
importante est ici celle des contours. Pour une image J k 
une date t, le parametre spatial SI est obtenu a partir 
de I'ecart-type de 1 • image filtree par les gradients de 
30 Sobel . Cette technique permet de faire ressortir les 
contours de 1 ' image analysee, qui jouent un role 
important dans la vision : 

SI, = o:^^^(SoJbel[J,(x,y) ] ) 

35 
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D'une maniere analogue, 1 ' information 

temporelle a un instant donne est definie par l*ecart- 
type de la difference de deux images consecutives : 

TJ, = J,(x,y) - I,.,(x,y)])) 



Une mesure basee sur ces deux informations 
permet- de mettre en valeur le changement de contenu entre 
1' entree du systeme video (S^^f) ®^ ^a sortie (S^) , par 
dif f erentes comparaisons . 



M, =log, 



TI, (t) 



TJ^ef ( t) 



Sl^^t (t) - Sis it) 



TJ. ( t) - TJ,,, ( t 



Trois parametres M^, M3, sont tires de ces 

comparaisons dans un comparateur COMP . Chacun est 
sensible a une ou plusieurs degradations, Ainsi, par la 
comparaison des parametres SI, on prend en compte 
1 ' introduction de flou (baisse de SI) et les contours 
artificiels introduits par.l'effet de blocs (augmentation 
de SI) . De meme, des differences entre les deux versions 
de TJ revelent des defauts de codage du mouvement , 

L'etape suivante consiste a effectuer une 
sommation sur le temps pour M^, M^, M3 par 1 * une des normes 
de Minkowski Lp (en general, p=I, 2 ou ^) . De cette 
maniere, la construction du modele de sommation est 
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possible. II permet de produire une note de qualite a la 
sortie d'un module de sommation SMOD. Le modele choisi 
est une combinaison lineaire des : 

5 Q = a + pM^ + ^1-^2 

Les coefficients de ponderation (a, /3, y, ju) 
sont calcules par une procedure iterative MIN de 
minimisation de la distorsion entre les notes objectives 

10 Q et les notes subject ives obtenues sur le meme lot 
d' images. En effet, il s'agit de trouver par iteration 
les parametres du modele combinatoire . De cette maniere, 
la mesure objective estimee approchera au mieux la note 
subjective. L'indice de performance du modele est donne 

15 par le coefficient de correlation. 

Un exemple de modele a ete propose dans la 
litterature. II a permis d'obtenir un bon coefficient de 
correlation : 0,92. 

20 0 = 4 , 77 - 0 , 9 9 2M^ - 0,272^2 - OSSSM^ 

Toutefois, il semble que les performances des 
modeles combinatoires soient moins bonnes avec des images 
differentes de celles du lot ayant servi a mettre le 
25 modele au point . 

La mise en oeuvre de cette approche est moins 
contraignante que la precedente. Toutefois, il reste en 
pratique la difficulte de la mise en correspondance 
spatiale et temporelle des notes des deux sequences du 
30 signal. 

Un objet de 1' invention est un procede qui 
permette une bonne mise en correspondance entre des 
mesures objectives et des notations subjectives que 
donnerait un panel de spectateurs . 
35 Un autre objet de 1 ' invention est un procede 

permettant une evaluation de sequence audiovisuelle de 
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maniere absolue, c'est-a-dire sans avoir acces a une 
sequence d'origine non degrades , 

Un autre objet de 1 ' invention est un procede 
qui permette de maniere simple et efficace d'evaluer la 

5 qualite de signaux audiovisuels dans un reseau de 
teledif fusion de signaux audio et/ou video. 

Au moins un des buts precites est atteint par 
un procede d' evaluation de la qualite d ' une sequence 
audiovisuelle, caracterise en ce qu'il met en oeuvre : 

10 a) un apprentissage comprenant 1 ' attribution 

dune note subjective NS, a chacune de sequences 
d' apprentissage (avec = 1,2...N^) presentant des 

degradations identifiees par un vecteur d • apprentissage 
MO^ qui est affecte a chaque sequence selon un premier 

15 procede de vector isat ion, pour const ituer une base de 
donnees composee des vecteurs d ' apprentissage MO^ et 

des notes subjectives NS^ ; 

b) le classement des vecteurs 
d ' apprentissages MO^ en k classes de notes en fonction des 

20 notes subjectives NS^ qui leur ont ete attributes, pour 
former k ensembles d ' apprentissage EA^ (avec j = l,2...k) 
auxquels sont attribues k notes d ' apprentissage 
signif icatives NSRj. ; 

c) pour ladite sequence audiovisuelle a 
25 evaluer 1 ' elaboration d'un vecteur MO selon ledit premier 

procede de vectorisation ; 

d) attribution a la sequence audiovisuelle a 
evaluer de la note d • apprentissage significative NSR^, 
correspondant a 1' ensemble d ' apprentissage EAj le plus 

30 proche . 

Cette attribution peut etre realisee par 
exempLe en attribuant a la sequence la note correspondant 
au vecteur d ' apprentissage le plus proche. 

Pref erentiellement , on realise entre b) et 

35 C) : 
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bl) pour chaque ensemble d' apprentissage EA^, 
1 ' elaboration selon un deuxieme precede de vectorisation 
d'un dictionnaire de reference compose de Nj vecteurs 
de reference VR^ (avec 1 = 1,2...N^) ; 
5 et entre c) et d) : 

cl) le choix parmi les vecteurs de reference 
VR, des k dictionnaires de reference, du vecteur de 
reference VR^. le plus proche dudit vecteur MO. 

Dans ce cas, 1 ' attribution s'effectue a partir 
10 de la note d • apprentissage significative NSR^ 
correspondant au dictionnaire de reference auquel 
appartient ledit vecteur de reference VR^ le plus proche. 

Les notes d ' apprent issage signif icat ives NSRj 
peuvent etre reparties de maniere uniforme le long d ' une 
15 echelle de notation, ou mieux encore de maniere non 
uniforme, ce qui permet de rendre les mesures plus 
signif icatives, par exemple par le fait que certains au 
moins des dictionnaires de reference peuvent alors 
contenir sensiblement le meme nombre de vecteurs de 
20 reference. 

Selon un mode de realisation prefer^, la 
repartition des notes d ' apprent issage signif icatives NSRj 
s'effectue par apprent is sage . 

Le precede est alors caracterise en ce qu*il 
25 comprend, entre a et b, une identification des k notes 
d ' apprentissage significations NSR^, k partir des notes 
subjectives NS^ dont chacune est consideree comme un 
vecteur a une dimension, en recherchant une distance 
minimale entre 1 * ensemble des notes subjectives NS^ et 
30 les k notes d ' apprent is sage signif icatives . 

D^autres caracterist iques et avantages de 
1' invention apparaitront mieux avec la description qui va 
suivre et les dessins qui 1 * accompagnent et dans 
lesquels : 
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la figure 1 et la figure 2 illustrent les 
deux methodes d' evaluation de I'Art Anterieur, 
respectivement denommes DSCQS et SSCQE ; 

la figure 3 illustre une approche connue 
5 mettant en oeuvre des modeles perceptuels ; 

la figure 4 illustre une methode developpee 

par 1 • ITS ; 

la figure 5 illustre une realisation 
preferee de la mise en oeuvre de 1' invention ; 
10 - la figure 6 illustre la formation d'un 

dictionnaire selon 1 • invention ; 

la figure 7 illustre le processus de 
notation d'une sequence a evaluer, selon 1 ' invention ; 

la figure 8 illustre une repartition 
15 uniforme des intervalles de notes subject ives ; 

la figure 9 est un exemple de la frequence 
d' apparition des notes subject ives NS. ; 

la figure , 10 illustre un processus 
d » identification de notes subjectives representatives 
20 selon 1' invention ; 

la figure 11 est un exemple de repartition 
non uniforme des notes subjectives obtenues selon le 
processus illustre par la figure 10 ; 

les figures 12 et 13 illustrent la 
25 precision d'une evaluation selon 1* invention ; 

et les figures 14 et 15 representent une 
mise en oeuvre de 1' invention en ce qui concerne 
respectivement la phase d ' apprentissage et la phase 
operationnelle . 

30 L' invention se presente comme un precede 

d' evaluation objective de la qualite des signaux audio et 

video basee sur un ensemble de parametres . 

Le precede ne • necessite pas de def inir de 

nouveaux parametres. Son idee de base est de proposer un 
35 modele general base sur la quantification vectorielle 

pour 1 ' exploitation de ces mesures. II s ' agit d*une 
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approche par apprentissage qui permet de donner des notes 
objectives de qualite aux signaux audiovisuels . Cette 
evaluation est effectuee de maniere correlee a la 
notation subjective a 1 ' aide d'un modele perceptuel 
objectif , Pour ce faire, le modele opere en deux etapes. 

La premiere etape est realisee a partir d'un 
ensemble de sequences audiovisuelles d ' apprentissage . Le 
modele ef f ectue une mise • en correspondance entre deux 
bases de donnees elaborees sur les memes signaux 
audiovisuels : 

■ une base de notes subject ives (BDNS) , 

■ une base de mesures objectives extraites 
des signaux audio et video (BDMO) , 

pour associer a un ensemble d ' indicateurs de 
degradations (formant un vecteur de mesures objectives) , 
une notation subjective. 

Cette phase permet d'obtenir une connaissance 
pertinente pour la qualification de la qualite des 
signaux. 

Pendant la seconde etape, qui correspond S la 
phase operationnelle du procede , ce dernier eff ectue une 
exploitation de ses connaissances . En effet, a chaque 
fois qu»il est necessaire -de qualifier la qualite d'une 
sequence audiovisuelle , le modele realise une extraction 
de parametres represent at if s des degradations. Par la 
suite, il confronte le resultat des calculs a sa base de 
connaissance. Cette operation permet de donner une note 
objective tres proche de la note subjective qu'aurait pu 
donner un panel representatif . Le processus utilise dans 
la presente invention utilise la quantification 
vector'ielle . Le principe est de trouver dans les 
dictionnaires le vecteur representatif le plus proche du 
vecteur de parametres calcules sur les signaux audio et 
video. La note subjective generee peut par exemple etre 
celle qui est associee au dictionnaire contenant le 
vecteur representatif les plus proche. 
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La problemat ique de la quantification 
vectorielle a ete identifies dans la litterature. Ella se 
resume par la definition de ses trois composantes 
principales interdependantes : 
5 ■ la formation de vecteurs a partir des 

informations a coder, 

■ la formation du dictionnaire a partir d'un 
ensemble d ' apprentissage, 

■ la recherche du plus proche voisin a 1 ' aide 
10 d'une distance appropriee . 

La notion de distance ou distorsion entre deux 
vecteurs est introduite pour la recherche du plus proche 
voisin dans le dictionnaire. Plusieurs distances ont ete 
proposees pour optimiser la quantification vectorielle et 
15 pour approcher au maximum la fide lite aux signaux 
initiaux. 

La distance ou distorsion appelee erreur 
quadratique, est parmi celles qui sont les plus utilisees 
pur la quantification vectorielle. L' appellation distance 
20 ici n'est pas exacte, il s'agit, en fait, du carre d'une 
distance au sens mathematique du terme . 

t 

A(A,S)=Z'(A,.-SJ' 

25 (A,B) deux vecteurs de dimension t. 

La quantification vectorielle est utilisee 
dans le cadre de la presente invention pour elaborer un 
modele perceptuel objectif- Ce modele sera exploite pour 
quantifier la qualite des signaux audiovisuels . 
30 Soit un ensemble E de sequences audio de 

n secondes chacune . El les sont toutes composees d'une 
serie d' images video et d ' echanti lions audio. 
E={Si/i=:. .Nj 

Ces sequences ont transite a travers des 
35 configurations representatives des systemes de 
distribution de la television numerique. En effet, les 
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reseaux de distribution et de diffusion mis en oeuvre 
sont le satellite, le cable et le reseau terrestre. Des 
perturbations ont ete introduites lors de la transmission 
des signaux audiovisuels afin de les degrader. 

Nous avons realise des essais subject if s sur 
cet ensemble de sequences degradees. Une base de donnees 
de notes subject ives a ete elaboree. 

BDES^(NS,/ i^l. .N^] 

NSi represente la Note Subjective obtenue par 
la sequence de 1 * ensemble E. 

D' autre part, nous avons elabore une autre 
base de donnees a partir des Mesures Objectives MO^ 
realisees sur 1* ensemble des sequences E. 

BDMO^lMOj i^l , .N^] 
Avec MO^= ( V,, . . , V,) 

A chaque sequence correspond un vecteur MO^ 
(voir figure 5) . Ces vecteurs sont composes de t 
parametres calcules sur les signaux audio et/ou video. 
Ces parametres peuvent etre comparatifs (categorie I) ou 
intrinseques (categorie II) . lis informent sur le contenu 
et sur les degradations subies par la sequence. 

Afin de former pour chaque sequence 
audiovisuelle son vecteur representatif MO^, un precede 
distinct calcule des parametres objectifs extraits a 
partir des echantillons des signaux numeriques audio et 
video . 

A partir des donnees que nous avons decrites, 
le precede opere une phase d ' apprent issage . En effet, un 
traitement adapte de ces donnees permet de developper une 
base de connaissance que le modele utilisera par la suite 
dans sa phase operationnelle . 

Pour 1* ensemble E des sequences S^, une 
repartition en k classes de notes EA^ est effectuee. Pour 
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cela, on utilise la valeur de la note subjective NS; 
attribuee a la sequence S,. L'intervalle d' evolution de 
NS. est done fragmente en k segments J,- distincts auxquels 
sont associes les k ensembles d ' apprentissage EAj. Une 
5 note subjective representative NSR, est associee a chaque 
segment j . Cette operation se traduit par un groupement 
dans chaque classe de note*£A, des donnees concernant les 
sequences dont la qualite a ete jugee similaire ou 
equivalente . 

10 La valeur k (par exemple /c=5) est prise ici 

comme exemple d ' application dans la Figure 5. Une 
repartition sur un nombre de classes inferieur ou 
superieur est envisageable en fonction des besoins de 
precision de I'equipement de metrologie. 

15 * Les vecteurs MO^ de mesures objectives des 

sequences correspondant a un intervalle Ij de valeurs 
de notes subjectives NS^ sont rassembles dans 1 'ensemble 
d ' apprentissage EA^ . k ensembles d ' apprentissage sont 
alors formes a partir des bases de donnees initiales 

20 (cf . Figure 5) . 

A partir d'un ensemble d ' apprentissage de M 
vecteurs, le dictionnaire • de reference, compose de N 
vecteurs, est celui qui represente le mieux 1 ' ensemble 
vectorial initial . II emploie un groupe de vecteurs 

25 presentant la plus petite distance ou distorsion moyenne 
par rapport ^ tous les M vecteurs de 1* ensemble 
d* apprentissage, parmi les autres dictionnaires candidats 
possibles. La construction du dictionnaire est basee sur 
la formation des meilleurs vecteurs representatif s . 

30 Des algorithmes de classification sont 

utilises, de fagon a elaborer un dictionnaire de vecteurs 
representatif s a partir d*un ensemble initial ; ce 
dernier est appele "training set" ou ensemble 
d • apprentissage . 

35 Plusieurs auteurs ont propose des solutions 

pour la classification en dictionnaires. 
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■ Nuees dynamiques, ou Algorithme LBG/ 

■ Methode du reseau de neurones de Kohonen . 
Pour chaque classe de notes EAj et a partir 

des vecteurs MOi de mesures objectives et de leurs notes 
5 NSi (voir figure 6) , on applique une procedure FORM de 
formation d'un dictionnaire Dj, 

k dictionnaires Dj, composes respectivement de 
Nj vecteurs sont associes aux k classes ou plages de notes 
subjectives. La valeur de Nj est choisie suivant le nombre 

10 initial de vecteurs de la classe de notes EAj et selon la 
precision souhaitee pour le modele. Chaque dictionnaire Dj 
est done associe a un intervalle Ij des notes subjectives. 

Les algorithmes utilises pour la formation des 
dictionnaires Dj sont le LBG et les reseaux de neurones - 

15 Kohonen. Ces methodes donnent des resultats comparables. 
Ces techniques sont d'autant plus efficaces que malgre 
des tallies Nj, choisies expressement limitees (par 
exemple Nj - . . . ) , les dictionnaires de reference restent 
representatif s . 

20 Le but d'un dispositif automatique 

d' evaluation de la qualite des signaux est de fournir une 
note finale d' evaluation desdits signaux. Dans sa phase 
operationnelle de f onct ionnement le precede decrit dans 
la presente invention se decline suivant deux processus 

25 (voir figure 7) . 

Le premier reside dans le traitement des 
echantillons audio et/ou video de la sequence 
audiovisuelle a evaluer SAE afin d'en extraire les 
parametres. En effet, un vecteur Vi d' indicateurs de la 

30 qualite de 1' audio et/ou de la video est forme suivant 
les categories I et/ou II decrites precedemment . II 
permet de representer les caracteristiques pertinentes 
pour la qualification des signaux. 

Le second processus (QUANT) fait correspondre 

35 par qualification vectorielle au vecteur Vi de parametres 
en entree qui est attribue a une sequence audiovisuelle a 
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evaluer, I'indice j du dictionnaire le plus proche . A cet 
effet, la minimisation de la distorsion entre le vecteur 
incident et tous les vecteurs des k dictionnaires -est 
operee. Elle permet d' identifier le dictionnaire Dj auquel 
5 appartient le vecteur U le plus proche de V^, et done 
1 * indice j . 

L' operation utilisee de maniere avantageuse 
dans cette approche, est la quantification vectorielle. 
Elle permet de trouver le plus proche voisins d'un 

0 vecteur Vi et par consequent son meilleur representant 
dans un dictionnaire ou dans un ensemble de 
dictionnaires. A un vecteur d' entree Vi presente, la 
quantification vectorielle determine a quel vecteur de 
quel dictionnaire il est le plus proche, et attribue a ce 

15 vecteur la note d' apprent issage significative NSRj de ce 
dictionnaire Dj, 

Rappelons, que 1' indice j n' est autre que la 
classe de qualite obtenue a la suite d' une gradation des 
essais subjectifs operes sur les sequences 

20 audiovisuelles . Pour cette technique de separation en 
plusieurs ensembles d' apprentissage, il y a deux points 
importants a etudier : 

■ la taille de chaque dictionnaire 

■ la position des plages de notes de chaque 
25 dictionnaire. 

La taille de chacun des dictionnaires presente 
une certaine importance. En effet, le norabre de vecteurs 
influence direct ement la representat ivite du 

dictionnaire, et par consequent I'efficacite de la 

30 quantification vectorielle. 

D' autre part, la position des plages de notes 
est tout aussi importante. Il faut savoir quelles notes 
on va associer entre elles. On peut par exemple reserver 
une grande plage de notes pour la mauvaise qualite, ainsi 

35 des que la qualite se degrade un minimum, le 
quant if icateur le detectera. On peut aussi faire le 



wo 01/01705 



PCT/FROO/01659 



19 

contraire, en reservant une petite plage pour la mauvaise 
qualite, avec ceci le quantif icateur ne detectera la 
mauvaise qualite video uniquement que si celle-ci est 
f ortement degradee . 
5 On voit done, qW k 1 ' aide de ces deux 

parametres, on peut influencer la quantification 
vectorielle. On peut aussi influencer cette 
quantification en ajoutant un pretraitement sur les 
parametres objectifs calcules a partir des signaux audio 
10 et/ou video. 

Nous avons defini ci-dessus le f onct ionnement 
du precede en trois etapes principales : d » abord la 
formation des mesures objectives MO^, puis la construction 
des dictionnaires D^, et enfin la recherche du 

\5 dictionnaire dans lequel se trouve le vecteur le plus 
proche d'un vecteur de mesures objectives. Le modele peut 
alors attribuer a la sequence Si, representee par les 
mesures objectives MO^, la note subjective representative 
NSR^ associee au dictionnaire D^, en utilisant sa base de 

20 connaissances . Cependant , un processus de choix eventual 
des plages de I'echelle de- notes subjectives n'a pas ete 
defini, ni celui de choix de la note representative NSR^ 
associee a chaque dictionnaire D , . Le part it ionnement de 
I'echelle de la note subjective est une etape importante, 

25 car il va definir les notes que le modele sera capable de 
fournir lors de la phase operationnelle . 

Selon ce qui a ete defini precedemment , chaque 
classe est definie par 1 ' ensemble d ' apprent issage EA^ de 
mesures objectives, et un intervalle 1^ de I'echelle des 

30 notes subjectives NS^. 

Dans le cas de tests subjectifs a echelle de 
notation discrete, le nombre de notes representatives et 
de plages correspondantes est naturellement limite par le 
nombre de niveaux que peut prendre la note (en general 5 

35 niveaux) . 
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Dans le cas de tests subjectifs a echelle de 
notation continue les possibilites sont beaucoup plus 
variees : le nombre d' ensembles d ' apprent issage peut etre 
quelconque. Deux approches sont alors possibles : soit 
les intervalles 1^ de notes subj actives sont choisis 
arbitrairement , soit une procedure automatique qui permet 
de choisir des intervalles est appliquee. 

Partitionnement arbitraire 

Un choix arbitraire des intervalles de notes 
subjectives NS, (voir figure 8, pour une repartition 
uniforme) a 1 • avantage de he necessiter aucune ressource 
particuliere lors de 1 » implantation materielle de 
1' invention dans un equipement . Cependant, ce 
partitionnement qui ne tient pas compte de la repartition 
effective des notes subjectives pour les sequences de 
1' ensemble E (figure 9) risque de definir certains 
intervalles qui ne contiendront pas ou tres peu de notes 
subjectives NS,, alors qu'un seul intervalle pourra 
contenir la plupart des notes. 
20 Une telle repartition inegale des notes 

subjectives entre les intervalles a un double 
inconvenient pour le modele : 

1. En premier lieu, quelle que soit la taille 
des dictionnaires et la sensibilite des parametres VI., t 
aux degradations, 1 ' ecart entre la note subjective 
predite et la note subjective reelle ne peut pas etre 
minimise. En effet, la phase operationnelle associe a 
tout vecteur VI . . t de paramdtres objectifs la note NSR^ du 
dictionnaire le plus proche . L' intervalle de notes 

subjectives represents par NSR^ etant d'une certaine 
largeur de 1 • intervalle , I'ecart moyen ne pourra pas 
descendre en dessous d'un certain seuil, fonction de la 
largeur de 1 ' intervalle , Dans le cas ou 1' ensemble 
d' apprentissage EA^ correspondant contient la plus grande 
partie des sequences Si, le modele va tres frequemment 
utiliser la note NSRp et done commettre frequemment une 
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erreur nominale. La performance moyenne du module pour 
cette classe p de notes sera done limitee par cette 
largeur d • intervalle, et serait amelioree en reduisant 
1 ' intervalle . Par consequent, pour la classe p 
5 representant la plus grande partie des sequences S^, c'est 
la performance moyenne du modele qui est limitee. 

On voit done qu ' un partitionnement en 
intervalles plus petits dans les zones denses au sens du 
nombre de notes subjectives obtenues dans la base de 

10 donnees DBNS est avantageux. 

2. En second lieu, une approche arbitraire 
pour le partitionnement peut amener a avoir un nombre 
global non optimal de vecteurs pour les diet ionnaires . 
Nous avons vu que pour ce type de partitionnement, les, 

15 ensembles d ' apprentissage • EA^ formes pourront etre de 
tallies tres differentes. II s'ensuit que, pour un 
ensemble d ' apprentissage EAp de taille importante, 
I'algorithme de la phase de classification aura besoin de 
beaucoup de vecteurs dans le dictionnaire Dp, pour 

20 parvenir a representer EA^ avec une distorsion voulue . 
Cela est du a . la grande diversite des donnees a 
representer. Un partitionnement garantissant de ne pas 
obtenir de desequilibre important quant a la taille des 
ensembles d * apprentissage peut resoudre ce point Par 

25 ailleurs, il n'est pas certain que la taille plus modeste 
des autres ensembles d ' apprentissage permette de reduire 
la taille de leurs dictionnaires . L' ensemble se 
traduirait done par une augmentation des couts 
d ' implantation materielle de la methode, ainsi que par 

30 une diminution de la precision du modele. 

Une reponse partielie a ces inconvenients est 
de faire un partitionnement de maniere empirique, a 
chaque fois qu'un ensemble E de sequences est etudie. 
Pour cela on s'efforcera done de partitionner plus 

35 finement I'echelle des notes aux endroits ou le nombre de 
notes NSi est important. 
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Toutefois, il est bien plus interessant 
d'appliquer une procedure automat ique , qui permettra de 
plus de faire un partitionnement optimal, en mettant en 
oeuvre un partitionnement automatique qui s * adapte a la 
5 repartition statistique des notes subj actives attributes 
a 1* ensemble E des sequences 5^. 

En effet, on a vu qu'un partitionnement 
arbitraire n'est a priori pas adapte a la repartition des 
notes subjectives NSi le long de 1' echelle de notation 

10 subjective. Bien que 1' ensemble E des sequences 
d' apprentissage soit representatif des degradations, on 
observ.e generalement que la repartition des valeurs de NSi 
est ef f ect ivement loin d'etre uniforme, par exemple dans 
le cas de la television numerique. La figure 9 presente 

15 la frequence d' occurrence des notes subjectives NSi - on 
observe que beaucoup de notes sont proches d'un niveau de 
qualite eleve. Les classes de haute qualite pourront done 
representer la grande majcrite des notes alors que la 
classe la plus basse sera presque vide. L' utilisation 

20 d' une procedure automatique de partitionnement optimal 
garantissant une repartition plus equitable de cet 
ensemble DBNS de notes subjectives va permettre d'obtenir 
une meilleure performance du modele final. 

Ce probleme est avantageusement resolu par un 

25 precede constitue de deux etapes : tout d'abord une 
identification de k notes subjectives representatives 
NSRj, . puis le choix de la note subjective NSRj 
representant le mieux une note subjective NSi. 

1. Une identification des k notes subjectives 

30 representatives NSRj est effectuee a partir des notes 
subjectives NSi (figure 10). Le procede considere que 
chaque note NSi est un vecteur a une dimension, afin 
d'appliquer un processus d ' elaboration d * un dictionnaire 
de reference) . Une des methodes LBG, nuees dynamiques, ou 

35 reseau de neurones de Kohonen est utilisee afin d' obtenir 
le nombre desire k de representants NSRj. 
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Ce type de methode tend a rechercher le 
minimum de distorsion, au sens de la distance A entre 
1* ensemble des NS^ et des NSR^ . 11 repond done 
parfaitement aux inconvenients du positionnement dit 
5 arbitraire. 

2. La classification de 1' ensemble 

d' apprentissage DBMO en k ensembles EAj. Pour cela, on 
considere les couples de donnees (MOi, NSi) , chacun 
correspondant a une sequen'ce Si. Pour chaque couple, on 

10 recherche la note subjective representative NSRj la plus 
proche de NSi par application de la procedure de 
quantification vectorielle, ce qui permet de determiner 
I'indice j. Le vecteur de donnees objectives MOi est alors 
ajoute a 1' ensemble d' apprent issage EAj . La creation des 

15 ensembles EAj dans lesquels sont repartis les vecteurs MOi 
est terminee lorsque tous les couples {MOir MSi) ont ete 
traites . 

Un exemple de partitionnement optimal de 
I'echelle de notation subjective est donne en figure 11 
20 et illustre la difference avec la figure 8. 

Le modele est ici utilise afin d'illustrer ses 
possibilites sur un programme de television numerique 
contenant des degradations. Les notes subjectives ont ete 
obtenues selon le protocols SSCQE, c'est-a-dire une note 
25 toutes les demi-secondes . On considere alors que le 
programme est constitue d'une serie d'autant de courtes 
sequences d'une demi-seconde, que de notes. 

La figure 12 montre 1 'evolution conjointe de 
la note subjective NS sur une demi-heure. On constate que 
30 la note objective attribuee NSR suit precisement la note 
subjective NS (en pointilles) . 

La figure suivante 13 montre de maniere 
synthetique la correspondance entre la note predite par 
le modele et la note subjective reelle, pour la meme 
35 experience, ainsi que la precision du modele. On 
distingue 7 classes, qui correspondent a autant de 
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valeurs de notes predites (note objective NS en abscisse, 

note subjective NSR en ordonnee) . 

Pour chaque classe, le graphique represente la 

moyenne des notes subject ives reelles (Moy) donnees par 
5 les observateurs . On constate la bonne linearite de la 

correspondance entre les deux notes, ce qui est un 

premier critere de performance. 

La moyenne des notes subjectives reelles (Moy) 

est egalement encadree par deux autres reperes (EcartT) . 
0 Pour chaque classe, ces reperes indiquent l*amplitude, 

par rapport a la moyenne, de I'ecart-type des notes 

subjectives correspondant a la note objective de la 

classe. Une faible valeur signifie que le modele est 

precis. Les valeurs obtenues pour cet ecart-type sont 
5 comparables aux performances des tests subject if s qui 

constituent la reference pour le modele, ce qui est tout 

a fait satisf aisant . 

Un mode de mise en oeuvre de 1 ' invention va 

maintenant etre decrit, en liaison avec les figures 14 et 
20 15 . 

Afin d^evaluer la qualite de signaux 
audiovisuels, le precede met done en oeuvre deux phases : 
une phase d ' apprent issage (figure 14) et une phase 
opera tionnelle (figure 15) . 

25 La phase d * apprentissage est effectuee une 

seule fois. Elle consiste a obtenir les k dictionnaires 
Dj de vecteurs de mesures objectives, et les notes 
subjectives representatives NSRj associees. Cette phase 
est realisee a partir : 

30 ■ d*une part, de la Base de Donnees de 

Mesures Objectives (BDMO) , obtenue a partir de signaux 
audio et/ou video et d'un processeur (non represente) de 
calcul de parametres {MO, Mesures Objectives) . 

■ d' autre part, d ' une Base de Notes 

35 Subjectives (DBNS) obtenue a partir des memes signaux 
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audio et/ou video que la base BDMO et d'un ensemble 
d * observateurs . 

La phase d * apprent issage peut se decomposer en 

3 etapes : 

1- Un processeur de construction du 
dictionnaire permet de trouver les k notes subject ives 
NSR., representatives de la base BDNS . 

2 . Chaque vecteur de la base BDMO est 
ajoute a 1 • un des k ensembles d ' apprentissage EA^ en 
fonction de la classe j a laquelle appartient la note NS 
de la base BDNS correspondant au vecteur. La classe j est 
obtenue grace a un processeur de quantification 
vectorielle qui recherche la note NSR^ la plus proche de 
la note NS . 

3. Enfin, chaque dictionnaire Dj (dicol," ... 
dicok) , compose de vecteurs est obtenu a partir de 

1 'ensemble d ' apprentissage EA^ correspondant, grace a un 
processeur de constructions de dictionnaire. 

La phase operationnelle est ensuite appliquee 
a chaque fois que la qualite d'une sequence audiovisuelle 
doit etre predite. Cette phase exploite la connaissance 
acquise par le modele au cours de la phase 
d ' apprentissage , Pour un vecteur de parametres objectifs 
MO issu d'une sequence audiovisuelle, on calcule une note 
objective de qualite. Les parametres objectifs MO sont 
fournis par un processeur de calcul de parametres qui 
peut etre quelconque. 

Cette phase operationnelle peut alors se 
decomposer en deux etapes : 

1. Un processeur de quantification vectorielle 
recherche le vecteur U le plus proche du vecteur de 
parametres objectifs MO en entree, parmi tous les 
vecteurs des dictionnaires Dj (dicol, ... dicok) obtenus 
lors de la phase d ' apprentissage . Le processeur fournit 
alors le numero j du dictionnaire correspondant. 

2. L'etape suivante peut alors attribuer a la 
sequence audiovisuelle la note de qualite de valeur NSR.. 
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RE VEND I CAT I ONS 

1. Procede d' evaluation de la qualite d ' une 
sequence audiovisuelle , caracterise en ce qu'il met en 
oeuvre : 

5 a) un apprentissage comprenant 1 ' attribution 

d'une note subjective NS^ a chacune de sequences 
d ' apprentissage S, (avec i = 1,2...NJ presentant des 
degradations identifiees par un vecteur d ' apprentissage 
MOi qui est affecte a chaque sequence selon un premier 

10 procede de vectorisat ion, pour constituer une base de 
donnees composee des vecteurs d ' apprentissage MO, et 

des notes subject ives NS^ ; 

b) le classement des vecteurs 
d ' apprentissage MO^ en k classes de notes en fonction des 

15 notes subject ives NS^ qui leur ont ete attributes, pour 
former k ensembles d ' apprentissage EA^ (avec j = 1 , 2 . . . k) 
auxquels sont attribues k notes d ' apprentissage 
signif icatives NSRj . ; 

c) pour ladite sequence audiovisuelle a 
20 evaluer 1 ' elaboration d*un vecteur MO selon ledit premier 

procede de vectorisation ; 

d) attribution a la sequence audiovisuelle a 
evaluer de la note d ' apprentissage significative NSR^, 
correspondant a 1' ensemble d* apprentissage EAj le plus 

25 proche . 

2. Procede selon la revendication 1, 
caracterise en ce qu'il comporte entre b) et c) : 

. bl) pour chaque ensemble d' apprentissage EA^, 
1 ' elaboration selon un deuxieme procede de vectorisation 
30 d'un dictionnaire de reference compose de vecteurs 
de reference VRj^ (avec I = 1,2...W^) ; 
et entre c) et d) : 

cl) le choix parmi les vecteurs de reference 
VKj des k dictionnaires de reference, du vecteur de 
35 reference VR^, le plus proche dudit vecteur MO ; 
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et en ce que d met en oeuvre 1 ' attribution a 
la sequence audiovisuelle S evaluer de la note 
d ' apprentissage significative NSR^ , correspondant au 
dictionnaire de reference auquel appartient ledit vecteur 
de reference VR^ le plus proche. 

3 , Precede selon une des revendications 1 ou 
2, caracterise en ce que les notes d ' apprentissage 
signif icatives NSR^ sont reparties de maniere uni forme le 
long de I'echelle de notation. 

4. Procede selon la revendication 1, 
caracterise en ce les notes d ' apprentissages 
signif icatives NSR^ d ' au moins certains des k 
dictionriaires de reference sont reparties de maniere non 
uniforme le long de I'echelle de notation. 

5. Procede selon la revendication 4, 
caracterise en ce que ladite repartition est telle qu ' au 
moins certains des dictionnaires de reference contiennent 
sensiblement le meme nombre de vecteurs de reference. 

6 . Procede selon une des revendications 4 ou 
5, caracterise en ce qu*il comprend, entre a et b, une 
identification des k notes d * apprentissage significations 
NSR^, a partir des notes subject ives NS, dont chacune est 
consideree comme un vecteur a une dimension, en 
recherchant une distance minimale entre 1' ensemble des 
notes subject ives NS^ et les k notes d ' apprentissage 
signif icatives . 
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I. Base du rapp rt 

1 . En ce qui concerne les elements de la demande intemationale {les feuilfes de rempfacement qui ont 4t4 remises 
k I'office r6cepteur en reponse a une invitation faite conform6ment k I'article 14 sont consid6r6es dans le present 
rapport comme "initiaiement ddpos^es" et ne sont pas jointes en annexe au rapport puisqu'eiies ne contiennent 
pas de modifications (regies 70. 16 et 70. 17)): 

Descriptiorit pages: 

1 -25 version initiate 

Revendications, N"": 

2 (partie),3-6 version initiate 

1 ,2 (partie) re5ue(s) le 1 3/07/2001 avec la lettre du 1 1/07/2001 

Dessins, feuilles: 

1/4-4/4 version initials 



2. En ce qui concerne la langue, tous les ^l^ments indiqu^s ci-dessus ^taient k la disposition de I'administration ou 
lui ont 6X6 remis dans la langue dans laquelle la demande intemationale a 6X6 d^pos^e, sauf indication contraire 
donn^e sous ce point. 

Ces ^tements dtaient k la disposition de I'administration ou lui ont 6X6 remis dans la langue suivante: , qui est : 

□ la langue d'une traduction remise aux fins de la recherche Internationale (selon la rfegle 23.1(b)). 

□ la langue de publication de la demande intemationale (selon ta r^gle 48.3(b)). 

□ la langue de la traduction remise aux fins de I'examen pr^liminaire Internationale (selon la r^gle 55.2 ou 
55.3). 

3. En ce qui concerne les sequences de nucleotides ou d'acide amines divulgu^es dans la demande 
Internationale (le cas Sch^ant), I'examen pr^liminaire Internationale a 6X6 affectum sur la base du listage des 
sequences : 

□ contenu dans la demande intemationale, sous forme ^crite. 

□ depose avec la demande Internationale, sous forme d6chiffrable par ordinateur. 

□ remis ult6rieurement k Tadministration, sous forme 6crite. 

□ remis ult6rieurement a {'administration, sous forme d^chiffrable par ordinateur. 

□ La declaration, selon laquelle le listage des sequences par ^crit et fourni ult^rieurement ne va pas au-del^ 
de la divulgation faite dans la demande telle que d^pos^e, a 6X6 foumie. 

□ La declaration, selon laquelle les informations enregistr^es sous d^chlffrable par ordinateur sont identiques k 
celles du listages des sequences Presents par ecrit, a 6X6 foumie. 
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4. Les modifications ont entraTnd I'annulation : 

□ de la description, pages : 

S des revendications, n"^ : 1 ,2(partie) 

□ des dessins, feuilles : 

5. □ Le present rapport a 6X6 formula abstraction faite (de certaines) des modifications, qui ont 6X6 consid^r^es 

comme allant au-del^ de I'exposd de invention tel qu'il a 6X6 d^pos^, comma il est indiqud ci-aprds (rdgle 
70.2(c)) : 

(Toute feuille de rempiacement comportant des modifications de cette nature doit Stre indiqu6e au point 1 et 
annex6e au present rapport) 



6. Observations compl^mentaires, le cas ^ch^ant : 



V. Declaration motivee selon i'article 35(2) quant a la nouveaute, i'activite inventive et la possibilit' 
d'application industrielle; citations et explications h I'appui de cette declaration 

1. Declaration 

Nouveaute Oui : Revendications 1-6 

Non : Revendications 

Activity inventive Oui: Revendications 1-6 

Non : Revendications 

Possibility d'application industrielle Oui : Revendications 1 -6 

Non : Revendications 



2. Citations et explications 
voir feuille separee 



VII. Irregularltes dans la demande Internationale 

Les irregularltes suivantes, concemant la forme ou le contenu de la demande intemationale, ont 6X6 constatees : 
voir feuille separee 
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POINT V 

L'art anterieur le plus proche est represents par le document : 

D1 : QUINCY E A ET AL: 'Expert pattern recognition method for technology- 
independent classification of video transmission quality' GLOBECOM '88. 
IEEE GLOBAL TELECOMMUNICATIONS CONFERENCE AND EXHIBITION 
- COMMUNICATIONS FOR THE INFORMATION AGE. CONFERENCE 
RECORD (IEEE CAT. N0.88CH2535-3), HOLLYWOOD, FL, USA, 28 NOV.- 
1 DEC. 1988, pages 1304-1308 vol.3, XP0021 33255 1988, New York. NY, 
USA, IEEE, USA 

qui divulgue un precede d'evaluation de la quaiite d'une sequence audiovisuelle. 

Le precede mesure un vecteur de parametres pour une sequence donnee et 
essaie de lui associer une valeur qui correspondrait a une evaluation subjective de la 
quaiite. 

Dans le precede divulgue par D1 la deternnination de la quaiite est effectuee par 
des systemes experts en considerant plusieurs facteurs, voir par exemple la figure 1 , et 
utilisant entre outres une base de donnees dynamique. 

Dans le precede revendique la deternnination de la quaiite n'est pas effectuee par 
des systemes experts mais en utilisant une base de donnes fixe, par une determination 
de Tensemble d'apprentissage qui est le plus proche au vecteur mesure. 

L'objet de la revendication 1 impiique done une activite inventive. 

Les revendications 2-6 dependent de la revendication 1 et satisfont done 
egalement, en tant que telles, aux conditions requises par le PCT en ce qui concerne la 
nouveaute et Tactivite inventive. 

L'objet revendique se rapporte a des dispositifs electroniques qui sent fabriques par 
rindustrie et a par consequent une application industrielle. 
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POINT Vli 



Contrairement a ce qu'exige la regie 5.1 a) ii) PCT, la description n'indlque pas 
I'etat de I'art anterieur le plus proche represents par le document D1 et ne cite pas ce 
document. 
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REVENDICATIONS 

1. Precede d ' evaluation de la qualite d'une 
sequence audiovisuelle, caracterise en ce qu'il met en 
oeuvre : 

5 a) un apprentissage comprenant 1 ' attribution 

d'une note subjective NS^ a chacune de sequences 
d' apprentissage (avec i = ^,2...N^) presentant des 

degradations identifiees par un vecteur d' apprentissage 
MO^ qui est affect e a chaque sequence selon un premier 
10 procede de vectorisation, pour constituer une base de 
donnees composee des vecteurs d ' apprentissage MO^ 

comportant seulement lesdites degradations identifiees et 
des notes subjectives NSj^ ; 

b) le classement des vecteurs 
15 d' apprentissage MO^ en k classes de notes en fonction des 
notes subjectives NS^ qui leur ont ete attributes, pour 
former k ensembles d ' apprentissage (avec j = 1,2...;c) 

auxquels sont attribuSs k notes d* apprentissage 
signif icatives NSR^.; 
20 cj pour . ladite sequence audiovisuelle a 

evaluer 1 ' elaboration d'un vecteur MO selon ledit premier 
procede de vectorisation ; 

d) attribution a la sequence audiovisuelle S 
evaluer de la note d ' apprentissage significative NSR^, 
25 correspondant a 1' ensemble d ' apprentissage EAj contenant 
le vecteur le plus proche du vecteur MO au sens de la 
quantification vectorielle. 

2- Procede selon la revendication 1, 
caracterise en ce qu'il comporte entre b) et c) : 
3^ t)1 ) pour chaque ensemble d * apprentissage EA^, 

1 • elaboration par quantification vectorielle selon un 
deuxieme procede de vectorisation d'un dictionnaire de 
reference compose de vecteurs de reference VR^ (avec 
1 - 1,2.. .Nj) ; 
35 et entre c) et d) : 

c1) le choix parmi les vecteurs de reference 
VRj des k dictionnaires de reference, du vecteur de 
reference VR^, le plus proche dudit vecteur MO ; 
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Demande internationale n*" 
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Date du depot international (your/mo/s/annee^ 

15/06/2000 


(Date de priorlte (la plus anclenne) 
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Deposant 



TELEDIFFUSION DE FRANCE 



Le present rapport de recherche internationale, etabli par {'administration chargee de la recherche internationale, est transmis au 
deposant conformement a Tarticle 1 8. Une copie en est transmise au Bureau international. 

Ge rapport de recherche internationale comprend 4 feuilles. 

[X] II est aussi accompagne d'une copie de chaque document relatif a Tetat de ta technique qui y est cite. 



1 . Base du rapport 

a. En ce qui concerne la langue, la recherche Internationale a ^6 effectuee sur la base de la demande Internationale dans la 
langue dans laquelle elle a dte ddpos4e, sauf indication contraire donnee sous le meme point. 

I I ia recherche internationale a ete effectuee sur ta base d*une traduction de la demande internationale remise a Tadministration. 

b. En ce qui concerne les sequences de nucl^tldes ou d'acldes amines divulguees dans la demande internationale (le cas echeant) 
la recherche internationale a ete effectuee sur la base du listage des sequences : 

I I contenu dans la demande internationale, sous forme ecrite. 

I I deposde avec ta demande internationale, sous forme dechrffrable par ordinateur. 

I I remis ulterieurement a Tadministration, sous forme ecrite. 

I I remis ulterieurement a I'administration, sous forme dechrffrable par ordinateur. 

I I La d^laration, selon laquelle le listage des sequences presente par ecrit et fourni ulterieurement ne vas pas au-deta de la 
divulgation faite dans la demande telle que deposee, a ete fournie. 

I I La declaration, selon laquelle les informations enregistrees sous forme dechiffrable par ordinateur sont identiques a celles 
du listage des sequences pr4sent4 par 4crit, a ete foumie. 

2. II a 4t6 estlm^ que certalnes revendlcatlons ne pouvalent pas faire Tobjet d'une recherche (voir le cadre I). 
^' O " y ° absence d'unlt^ de I'lnventlon (voir le cadre II). 



4. En ce qui concerne le tit re, 

pT] le texte est approuve tel qu1l a 4t6 remis par le deposant. 

I I Le texte a ete dtabli par radministration et a la teneur suivante: 



5. En ce qui concerne Tabr^g^, 

I I le texte est approuve tel qu'il a ete remis par le deposant 

mie texte (reproduit dans le cadre III) a ete etabli par I'administration conformement a ia regie 38.2b). Le deposant peut 
presenter des observations a radministration dans un delai d'un mois a compter de la date d'expedition du present rapport 
de recherche internationale. 

6. La figure des desslns a publier avec I'abreg^ est la Figure n° 4 



I I suggdrde par le deposant. |~| Aucune des figures 

|X| parce que le deposant rfa pas suggdrd de figure. n est a publier. 

I I parce que cette figure caractdrise mieux rinvention. 
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| ?mande internationale n° 

RAPPORT DE RECHERCHE INTERNATIONALE 



PCT/FR 00/01659 



Cadre III TEXTE DE L'ABREGE (suite du point 5 de la premiere feullle) 



The abstract is modified as follows: 

line 3: delete "a)" 

line 4: delete "NSl" 

line 5: delete "S/avec ...No)" 

line 7: delete "MOl" and "S," 

line 11: delete "b) and NO" 

line 14:delete "EAj (avec k) 

line 16: delete NSRj 

line 17: delete" c)" 

line 18: delete "MO" 

line 20: delete "d)" 



Formulaire PCT/ISA/210 (suite de la premiere feuille (2)) (Juillet 1998) 
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RAPPORT DE RECHERCHE INTERNATIONALE 



ide Internationale No 

/FR 00/01659 



A. CLASSEMENT DE L'OBJET DE LA DEMANDE 

CIB 7 H04N17700 



Selon la classification intemationale des brevets (CIB) ou a la fois selon la classification nationale et la CIB 



B. OOMAINES SUR LESQUELS LA RECHERCHE A PORTE 



Documentation minimale consult^e (systeme de classification suivi des symboles declassement) 

CIB 7 HG4N 



Documentation consult4e autre que la documentation minimale dans la mesure ou ces documents relevent des domalnes sur lesquels a port^ la recherche 



Base de donn^es electronique consult§e au cours de la recherche intemationale (nom de la base de donn^es, et si realisable, termes de recherche utilises) 

INSPEC, COMPENDEX, IBM-TDB, EPO-Internal , PAJ, WPI Data 



0. DOCUMENTS CONSIDERES COMME PERTINENTS 



Gategorie Identification des documents cites, avec, le cas echeant, Tindication des passages pertinents 



no. des revendications visdes 



QUINCY E A ET AL: "Expert pattern 
recognition method for 
technology-independent classification of 
video transmission quality" 
GLOBECOM '88. IEEE GLOBAL 
TELECOMMUNICATIONS CONFERENCE AND 
EXHIBITION - COMMUNICATIONS FOR THE 
INFORMATION AGE. CONFERENCE RECORD (IEEE 
CAT. N0.88CH2535-3), HOLLYWOOD, FL, USA, 
28 NOV.-l DEC. 1988, 

pages 1304-1308 vol.3, XP002133255 
1988, New York, NY, USA, IEEE, USA . 
abrege 

page 1305, colonne de gauche, ligne 14 
-page 1305, colonne de gauche, ligne 18 
page 1306, colonne de gauche, ligne 1 
-page 1307, colonne de gauche, ligne 12 

-/-- 



1,2,4 



3.5.6 



I )( j Voir la suite du cadre C pour la fin de la liste des documents 



Les documents de families de brevets sont indiques en annexe 



" Categories sp^iales de documents citds: 

"A" document d^finissant I'dtat general de la technique, non 

considere comme particulierement pertinent 
"E" document ant^rleur, mals publi4 k la date de dSp6t international 

ou apres cette date 

"L" document pouvant jeter un doute sur une revendication de 
priorite ou cit6 pour determiner la date de publication d'une 
autre citation ou pour une raison sp^ciale (telle qu'indiquee) 

"O" document se referant a une divulgation orale, a un usage, a 
une exposition ou tous autres moyens 

"P" document publie avant la date de d^p6t International, mats 
posted eurement ^ la date de priorite revendiqu^e 



"T" document ult^rieur publie apres la date de depot intematic«nal ou la 
date de priorite et n'appartenenant pas a I'^tat de la 
technique pertinent, mais cit6 pour comprendre le princtpe 
ou la theorie constitojant la base de invention 

"X" document particulierement pertinent; I'lnven tion revendiqu^ ne peut 
gtre consid^r^ comme nouvelle ou comme impliquant une activity 
inventive par rapport au document considdr^ isoldment 

"Y" document particulierement pertinent: I'inven tion revendiquee 

ne peut dtre consider6e comme impliquant une activity inventive 
lorsque le document est associ^ d un ou plusteurs autres 
documents de mdme nature, cette combinaison etant dvidente 
pour une personne du mdtier 

"&" document qui fait partie de la mdme famille de brevets 



Date k laquelle la recherche Intemationale a 6t6 effectivement achevde 



2 octobre 2000 



Date d'exp^ition du present rapport de recherche intemationale 



09/10/2000 



Nom et adresse postale de Tadministration charge de la recherche intemationale 
Office Europden des Brevets, P,B. 5818 Patentlaan 2 
NL - 2280 HV Riiswijk 
Tel. (+31-70) 340-2040. Tx. 31 651 epo nl, 
Fax: (+31-70) 340-3016 



Fonctionnaire autorisd 



Hampson, F 



Formulaire PCT/ISA/210 (deuxidme feuUle) (juillat 1992) 
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RAPPORT OE RECUERCHE INTERNATIONALE 



iide Internationale No 

/FR 00/01659 



C.(sulte) DOCUMEhrrS CONSIDERES COMME PERTINENTS 



Cat6gorle ° Identification des documents citds, avec.le cas ^hdant, rindlcatlondes passages pertinents 



no. des revendications vis^es 



US 5 446 492 A (WOLF STEPHEN ET AL) 

29 aout 1995 (1995-08-29) 

abrege 

ligne 38 -colonne 6, ligne 60 
ligne 26 -colonne 10, ligne 42 



colonne 5, 
colonne 9, 
figure 3 



VORAN S D ET AL: "THE DEVELOPMENT AND 
CORRELATION OF OBJECTIVE AND SUBJECTIVE 
VIDEO QUALITY MEASURES" 

PROCEEDINGS OF THE PACIFIC RIM CONFERENCE 
ON COMMUNICATIONS, COMPUTERSAND SIGNAL 
PROCESSING, US, NEW YORK, IEEE, 
vol. -, 1991, pages 483-485, XP000280345 
page 485, colonne de gauche, ligne 22 
-page 485, colonne de droite, ligne 9 



1 

2-6 
1-6 



Fbrmulaire PCT/lSA/210 (siita de la deuxidme feuine) (juillet 1992) 
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INTE^ATIONAL SEARCH REPORT 

Irl^Hltlon on patent family members 



atlonal Application No 

T/FR 00/01659 



Patent document 
cited in search report 



Publication 
date 



Patent family 
member(s) 



Publication 
date 



US 5446492 



29-08-1995 



US 



5596364 A 



21-01-1997 



Form PCT/iSA/210 (patent family annex) (July 1 992) 



(USPTO) 



RAPPORT DE REOHRCHE INTERNATIONALE 



Dem. ' Internationale No 

PCT/FR 00/01659 



A. CLASSEMENT DE L OBJET DE LA DEMANDE 

CIB 7 H04N17700 



Selon la classification intemationale des brevets (CiB) ou a (a fois selon la classification nationale et la C\B 

B. DOMAINES SUR LESQUELS LA RECHERCHE A PORTE 

Documentation minimaie consultee (systeme de classification suivi des symbdes de classement) 

CIB 7 H04N 



Documentation consuitee autre que la documentation minimaie dans la mesure ou ces documents relevent des domaines sur lesquels a porte la recherche 



Base de donnees electronique consultee au cours de la recherche intemationale (nom de la base de donnees. et si realisable, temies de recherche utilises) 

INSPEC, COHPENDEX, IBM-TDB, EPO-Internal , PAJ, WPI Data 



C. DOCUMEffTS CONSIDERES COMME PERTINENTS 



Categorie * 


Identification des documents citds. avec. le cas echdant. t'lrKUcation des passages pertinents 


no. des revendications visees 


X 


QUINCY E A ET AL: "Expert pattern 


1,2,4 




recognition method for 






technology-independent classification of 






video transmission quality" 






GLOBECOM '88. IEEE GLOBAL 






TELECOMMUNICATIONS CONFERENCE AND 






EXHIBITION - COMMUNICATIONS FOR THE 






INFORMATION AGE. CONFERENCE RECORD (IEEE 






CAT. N0.88CH2535-3), HOLLYWOOD, FL, USA, 






28 NOV.-l DEC. 1988, 






pages 1304-1308 vol.3, XP002133255 






1988, New York, NY, USA, IEEE, USA 




A 


abrege 


3,5,6 




page 1305, colonne de gauche, ligne 14 






-page 1305, colonne de gauche, ligne 18 






page 1306, colonne de gauche, ligne 1 






-page 1307, colonne de gauche, ligne 12 






-/-- 





fxl Voir la 



suite du cadie C pour la fin de la liste des documents 



ID 



Les documents de families de brevets sent tndtques en annexe 



Categories sped ales de documents cites: 



"A" 



document definissant I'etat general de la technique, non 
considere comme particulierement pertinent 

document anterieur. mais publie a la date de depdt international 
ou apres cette date 

document pouvant jeter un doute sur une revendication de 
pfiorite ou dte pour detemniner la date de publication d'une 
autre citation ou pour une raison speciale (telle qu'indiquee) 

document se referant a une divulgation orale, a un usage, a 
une exposition ou tous autres moyens 

document public avant la date de 66p&t international, mais 
post^rieurement a la date de priorite revendiquee 



T' document ultdrieur publie apres la date de depdt international ou la 
date de priority et n'apparter>enant pas a I'etat de la 
technique pertinent, mats cit6 pour comprendre le principe 
ou la theorie constituant la base de invention 

*X' document particulierement pertinent; i'inven tion revendiquee ne peut 
dtre consideree comme nouvelle ou comme impliquant une activity 
inventive par rapport au document considere isotement 

"Y" document particulierement pertinent; I'inven tion revendiquee 

ne peut §tre consideree comme impliquant une activite inventive 
lofsque le document est associe a un ou plusieurs autres 
documents de meme nature, cette combinaison etant evidente 
pour une persorme du metier 

document qui fait partie de la mdme familie de brevets 



Date a laquelle la recherche intemationale a ete eff ectivement achevee 

2 octobre 2000 


Date d'expedition du present rapport de recherche intemationale 

09/10/2000 


Nom et adresse postale de I'administration chargee de la rechefche intemationale 
Office Europeen des Brevets. P.B. 5818 Patentiaan 2 
NL - 2280 HV Riiswijk 
Tel. (+31-70) 340-2040. Tx. 31 651 epo nl. 
Fax: (+31-70) 34O-O016 


Fonctionnaire autoiise 

Hampson, F 



Fbrmulairo PCT/ISA/210 (deuxiAme feutte) {iuillat 1992) 
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RAPPORT DE REI 



CHE INTERNATIONALE 



Denv Internationale No 

PCT/FR 00/01659 



C.(sulte) DCX^UMEfrrS CONSIDERES COMME PERTINENTS 



Cat6gorle ° identtricatton des documents cit^ avecle cas ecti6ant, I'Indicatlondes passages pertinents 



no. des revendications visees 



us 5 446 492 A (WOLF STEPHEN ET AL) 

29 aoQt 1995 (1995-08-29) 

abrege 

ligne 38 -colonne 6, ligne 60 
ligne 26 -colonne 10, ligne 42 



colonne 5, 
colonne 9, 
figure 3 



VORAN S D ET AL: "THE DEVELOPMENT AND 

CORRELATION OF OBJECTIVE AND SUBJECTIVE 

VIDEO QUALITY MEASURES" 

PROCEEDINGS OF THE PACIFIC RIM CONFERENCE 

ON COMMUNICATIONS, COMPUTERSAND SIGNAL 

PROCESSING, US, NEW YORK, IEEE, 

vol. -, 1991, pages 483-485, XP000280345 

page 485, colonne de gauche, ligne 22 

-page 485, colonne de droite, ligne 9 



1 

2-6 
1-6 



Farmuiaire PCT/)SA/210 (sUte de ta deuidame feiiHe) OuUlet 1 992) 



page 2 de 2 



( 



RAPPORT DE RECqpCHE INTERNATIONALE 

Renaelgnementa relatlfs aw^ membresde families de brevets 



Deme Internationale No 

PCT/FR 00/01659 



Document brevet cite 
au rapport de recherche 



Datede 
piA}lication 



Membre(s) de la 
familte de brevet<s) 



Date de 
publication 



US 5446492 



29-08-1995 



US 



5596364 A 



21-01-1997 



Formulaire PCT/ISA/210 {annexe famiUes de brevets) (juiUei 1 992) 



THIS PAGE BLANK mm) 



INTERN 



NAL SEARCH REPORT 



Merr nal AppHealion No 

PCT/FR 00/01659 



A. CLASSIFICATION OF SUBJECT MATTER 

IPC 7 H04N17/00 



According to Intemational Patent Classification (IPC) or to both national classification and IPC 



B. HELOS SEARCHED 



Minimum documentation searched (classification system followed by classification symbols) 

IPC 7 H04N 



Documentation searched other than minimum documentation to the extent that such documents are included in the fields searched 



Electronic data base consulted during the intemational search (name of data base and. where practical, search temns used) 

INSPEC, COMPENDEX, IBM-TDB, EPO-Internal , PAJ, WPI Data 



C DOCUMENTS CONSIDERED TO BE RELEVANT 



Category * 


Citation of document, with indication, where appropriate, of the relevant passages 


Relevant to claim No. 


X 


QUINCY E A ET AL: "Expert pattern 


1,2,4 




recognition method for 






technology-independent classification of 






video transmission quality" 






GLOBECOM '88. IEEE GLOBAL 






TELECOMMUNICATIONS CONFERENCE AND 






EXHIBITION - COMMUNICATIONS FOR THE 






INFORMATION AGE. CONFERENCE RECORD (IEEE 






CAT. N0.88CH2535-3), HOLLYWOOD, FL, USA, 






28 NOV.-l DEC. 1988, 






pages 1304-1308 vol.3, XP002133255 






1988, New York, NY, USA, IEEE, USA 




A 


abstract 


3,5,6 




page 1305, left-hand column, line 14 -page 




1305, left-hand column, line 18 






page 1306, left-hand column, line 1 -page 






1307, left-hand column, line 12 






-/-- 





Further documents are listed in the continuation of box C. 



Patent family members are listed in annex. 



* Special categories of cited documents : 

"A" document defining the general state of the an which is not 

considered to be of particular relevance 
*E* earlier document but putslished on or after the intemational 

filing date 

"L" document which may throw doubts on priority claim(s) or 
wNch is cited to estat^iish the pubiication date of another 
citation or other special reason (as specified) 

'O' document referring to an oral disclosure, use. exNbition or 
other means 

"P* document putilished prior to the IntemationaJ filing date txjt 
later than the priority date claimed 



T* later document published after the intemational filing date 
or priority date and not in conflict with the application but 
cited to understand the prirx^ple or theory underiying the 
invention 

"X" document of particular relevance: the claimed invention 
cannot be considered novel or cannot be considered to 
involve an inventive step when the document is taken alone 

"Y" document of particular relevance; the claimed invention 

cannot t>e considered to involve an inventive step when the 
document is combined with one or more othner such docu- 
ments, such combination being obvious to a person skilled 
In the art. 

document member of the same patent family 



Date of the actual completion of the intern ationaJ search 

2 October 2000 


Date of mailing of the intemational search report 

09/10/2000 


Name and mailing address of the ISA 

European Patent Office. P.B. 5816 Patentfaan 2 
NL - 2280 HV Riiswijk 
Tel. (401-70) 34O-2040. Tx. 31 651 epo nl. 
Fax: (+31-70) 340-3016 


Authorized officer 

Hampson, F 



Fm PCT.1SA/210 (second sheet) (JUly 1992) 



page 1 of 2 



INTERN 



NAL SEARCH REPORT 



Inlen ^al Application No 

PCT/FR 00/01659 



C.(Contlnuatton) OCX:UMEhfTS CONSIDERED TO BE RELEVAMT 



Category * 



Citation of document, with indication.vwhefe appropriate, of tfie relevant passages 



Relevant to daim No. 



us 5 446 492 A (WOLF STEPHEN ET AL) 
29 August 1995 (1995-08-29) 
abstract 

line 38 -column 6, line 60 
line 26 -column 10, line 42 



column 5, 
column 9, 
figure 3 



VORAN S D ET AL: "THE DEVELOPMENT AND 

CORRELATION OF OBJECTIVE AND SUBJECTIVE 

VIDEO QUALITY MEASURES" 

PROCEEDINGS OF THE PACIFIC RIM CONFERENCE 

ON COMMUNICATIONS, COMPUTERSANO SIGNAL 

PROCESSING, US, NEW YORK, IEEE, 

vol. -, 1991, pages 483-485, XP000280345 

page 485, left-hand column, line 22 -page 

485, right-hand column, line 9 



1 

2-6 
1-6 



form PCT/ISA/210 (continuation of saccnd she^t) (July 1992) 



page 2 of 2 



INTERNA 



AL SEARCH REPORT 



.^formation on patent family members. 



Viai Application No 

PCT/FR 00/01659 



Patent document 
cited in search report 



Publication 
date 



Patent family 
memt^r(s) 



Publication 
date 



US 5446492 



29-08-1995 



US 



5596364 A 



21-01-1997 



Form PCT/ISA/210 (patent fantiy annax) (July 1992) 
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